Tan Sri Abdul Ghani Gilong dikenali kerana sumbangan beliau terhadap penyertaan Sabah ke dalam Persekutuan Malaysia. Beliau bersama-sama dengan Tun Fuad Stephens menjelajah ke kawasan pedalaman seperti Ranau, Kundasang, Tambunan, Keningau, Jeselton (kini Kota Kinabalu), Kudat, Sandakan dan Kinabatangan bagi membantu Suruhanjaya Cobbold memberi penerangan kepada rakyat Sabah mengenai faedah-faedah yang bakal dinikmati Sabah supaya mereka menyokong pembentukan Malaysia.